即将开发我们呼叫所体现的系统的新一代越来越自主和自学习系统。在将这些系统部署到真实上下文中，我们面临各种工程挑战，因为它以有益的方式协调所体现的系统的行为至关重要，确保他们与我们以人为本的社会价值观的兼容性，并且设计可验证安全可靠的人类-Machine互动。我们正在争辩说，引发系统工程将来自嵌入到体现系统的温室，并确保动态联合的可信度，这种情况意识到的情境意识，意图，探索，探险，不断发展，主要是不可预测的，越来越自主的体现系统在不确定，复杂和不可预测的现实世界环境中。我们还识别了许多迫切性的系统挑战，包括可信赖的体现系统，包括强大而人为的AI，认知架构，不确定性量化，值得信赖的自融化以及持续的分析和保证。

Over the years, sequential Monte Carlo (SMC) and, equivalently, particle filter (PF) theory has gained substantial attention from researchers. However, the performance of the resampling methodology, also known as offspring selection, has not advanced recently. We propose two deterministic offspring selection methods, which strive to minimize the Kullback-Leibler (KL) divergence and the total variation (TV) distance, respectively, between the particle distribution prior and subsequent to the offspring selection. By reducing the statistical distance between the selected offspring and the joint distribution, we obtain a heuristic search procedure that performs superior to a maximum likelihood search in precisely those contexts where the latter performs better than an SMC. For SMC and particle Markov chain Monte Carlo (pMCMC), our proposed offspring selection methods always outperform or compare favorably with the two state-of-the-art resampling schemes on two models commonly used as benchmarks from the literature.

语言的视觉基础旨在用多种视觉知识来源（例如图像和视频）丰富语言表示。尽管视觉接地是一个深入研究的领域，但视觉接地的语言方面并没有得到太多关注。本研究调查了单词嵌入的语法视觉基础。我们在两个视觉和语言空间之间提出了一种隐式对齐技术，其中语言之间的文本信息相互作用以丰富预训练的文本单词嵌入。我们专注于实验中的三种语言，即英语，阿拉伯语和德语。我们获得了这些语言的视觉接地矢量表示形式，并研究了一种或多种语言的视觉接地是否改善了嵌入在单词相似性和分类基准上的嵌入性能。我们的实验表明，语法知识可以改善类似语言（例如德语和英语）的扎根嵌入性能。但是，德语或英语用阿拉伯语的语言基础导致单词相似性基准的性能略有降解。另一方面，我们观察到了分类基准的相反趋势，而阿拉伯语对英语的进步最大。在讨论部分中，提出了这些发现的几个原因。我们希望我们的实验为进一步研究的基线提供了有关语法间视觉接地的基准。

深度代码生成是软件工程深度学习（DL4SE）的主题，该主题采用神经模型来为预期功能生成代码。由于端到端的神经方法缺乏对域知识和软件层次结构的认识，因此结果通常需要手动校正。为了系统地探索代码生成的潜在改进，我们让IT参与从意图到实现的整个自上而下的发展，这在有限的范围中是可能的。在此过程中，它受益于大量样本，功能和知识。作为基金会，我们建议对代码数据（即代码分类法）建立分类法，利用代码信息的分类。此外，我们引入了三层语义金字塔（SP）以关联文本数据和代码数据。它标识了不同的抽象水平的信息，因此介绍了有关开发的领域知识，并揭示了软件的层次结构。此外，我们提出了一个语义金字塔框架（SPF）作为方法，重点是高模块化和低复杂性的软件。 SPF将代码生成过程分为阶段，并为潜在的相互作用提供储量。最终，我们为SPF构思了应用程序范围。

知识图（kgs）中的实体类型信息（例如DBPEDIA，FREEBASE等）通常由于自动产生或人类策划而通常不完整。实体键入是在kg中分配或推断实体的语义类型的任务。本文介绍了\ textit {grand {grand}，这是一种实体键入的新方法，利用RDF2VEC中的不同图形步行策略以及文本实体描述。 RDF2VEC首先生成图形步行，然后使用语言模型来获取图中每个节点的嵌入。这项研究表明，步行生成策略和嵌入模型对实体打字任务的性能有重大影响。所提出的方法的表现优于基准数据集DBPedia和Figer在kgs中的实体和小颗粒类别的实体。结果表明，订单感知RDF2VEC变体的组合以及文本实体描述的上下文嵌入可实现最佳结果。

分销语义提供了研究形态学语义的新方法。这项研究的重点是名词奇异人的语义及其在英语中的复数变种变体。我们的目标是比较两个模型的多元化概念化。一个模型（FRACSS）提出，在预测来自单数语义的复数语义时，应考虑所有奇异对。另一个模型（CCA）认为，多元化的概念化主要取决于基本单词的语义类别。我们根据大量的美国英语语音与两个模型预测的语义矢量相一致的大量语料库中复数代币的语音信号的方式进行比较。采用了两项措施：表单与义映射的性能以及形式距离和含义距离之间的相关性。结果收敛于CCA的优质比对。我们的结果表明，基于用法的多元化方法，其中给定单词自己的语义社区的优先级优于理论，根据该理论，多元化被概念化为基于高级抽象的过程。我们看到，经常被认为是一个高度抽象的概念，[+复数]可以通过中级部分概括的家庭更好地捕获。

启动和抗精气可以通过错误驱动的学习来建模（Marsolek，2008），假设学习质量的影响对目标刺激的处理进行了学习。这意味着参与者在启动研究中不断学习，并预测他们在其他心理语言实验的每项试验中也在学习。这项研究调查了在词汇决策实验中是否可以检测到试验学习。我们使用了判别词典模型（DLM; Baayen等，2019），这是一种具有分布语义的含义表示的精神词典模型，该模型具有分布语义的含义表示，该模型以Widrow-hoff规则为增量学习模型。我们使用了英国词典项目（BLP； Keuleers等，2012）的数据，并对每个受试者单独进行试用基础进行了DLM模拟词汇决策实验。然后，使用源自DLM模拟作为预测因子的措施预测单词和非单词的反应时间。使用两个受试者的数据开发模型，并对所有其他受试者进行了测试。我们从两个模拟中为每个主题提取了措施（一个在试验之间进行了学习更新，一个没有），并将其用作两个GAM的输入。基于学习的模型比大多数受试者的非学习模型表现出更好的模型拟合度。我们的措施还提供了有关词汇处理的见解，并使我们能够通过线性混合模型探索个体差异。这证明了DLM对行为数据进行建模的潜力，并得出这样的结论：在心理语言实验中确实可以检测到试验到审判的学习。

当前的计算模型捕获单词的含义主要取决于文本语料库。尽管这些方法在过去几十年中取得了成功，但它们在现实世界中缺乏基础仍然是一个持续的问题。在本文中，我们专注于单词嵌入的视觉接地，并针对两个重要问题。首先，在视觉接地过程中，语言如何从视觉中受益？其次，视觉接地和抽象概念之间是否存在联系？我们通过提出一种简单而有效的方法来调查这些问题，在该方法中，语言在具体和抽象词的建模方面特别受益于视觉。我们的模型将单词嵌入与其相应的视觉表示形式对齐，而不会降低文本分布信息所捕获的知识。我们将模型应用于G \“ Unther等人（2020）报告的行为实验，该实验解决了抽象单词的视觉心理表示的合理性。我们的评估结果表明：（1）可以预测人类行为（2）与文本对应物相比，我们的接地嵌入方式在很大程度上更好地模型。（3）抽象的概念通过其与具体概念的连接而不是具有相应的视觉表现方式，从而从视觉接地中受益。

语言基础与视觉是一个积极的研究领域，旨在通过利用视觉感知知识来丰富基于文本的单词含义的表示。尽管进行了多次接地尝试，但仍不清楚如何以一种保持文本和视觉知识的适当平衡的方式将视觉知识注入语言嵌入一词。一些普遍的问题是以下内容。视觉基础对抽象单词有益吗？还是仅限于具体单词的贡献？弥合文本和视觉之间差距的最佳方法是什么？通过视觉接地的文本嵌入，我们可以获得多少收益？本研究通过提出一种简单但非常有效的基础方法来解决这些问题，以预先训练的单词嵌入。我们的模型将文本嵌入与视觉保持一致，同时在很大程度上保留了在文本语料库中使用单词使用的分布统计数据。通过应用学习的对齐方式，我们能够生成视觉接地的嵌入，用于看不见的单词，包括抽象单词。一系列对单词相似性基准的评估表明，视觉接地不仅对具体单词有益，而且对抽象单词也有益。我们还表明，我们的视觉接地方法为上下文化的嵌入提供了优势，但只有在对相对尺寸相对较小的语料库进行培训时，我们才能提供优势。可以在https://github.com/hazel1994/visaly_grounded_word_word_embeddings_2上获得英语的代码和接地嵌入。

贝叶斯后期和模型证据的计算通常需要数值整合。贝叶斯正交（BQ）是一种基于替代模型的数值整合方法，能够具有出色的样品效率，但其缺乏并行化阻碍了其实际应用。在这项工作中，我们提出了一种并行的（批次）BQ方法，该方法采用了核正素的技术，该技术具有证明是指数的收敛速率。另外，与嵌套采样一样，我们的方法允许同时推断后期和模型证据。重新选择了来自BQ替代模型的样品，通过内核重组算法获得一组稀疏的样品，需要可忽略的额外时间来增加批处理大小。从经验上讲，我们发现我们的方法显着优于在包括锂离子电池分析在内的各种现实世界数据集中，最先进的BQ技术和嵌套采样的采样效率。